Benchmarking is a key aspect of research into optimization algorithms, and as such the way in which the most popular benchmark suites are designed implicitly guides some parts of algorithm design. One of these suites is the black-box optimization benchmarking (BBOB) suite of 24 single-objective noiseless functions, which has been a standard for over a decade. Within this problem suite, different instances of a single problem can be created, which is beneficial for testing the stability and invariance of algorithms under transformations. In this paper, we investigate the BBOB instance creation protocol by considering a set of 500 instances for each BBOB problem. Using exploratory landscape analysis, we show that the distribution of landscape features across BBOB instances is highly diverse for a large set of problems. In addition, we run a set of eight algorithms across these 500 instances, and investigate for which cases statistically significant differences in performance occur. We argue that, while the transformations applied in BBOB instances do indeed seem to preserve the high-level properties of the functions, their difference in practice should not be overlooked, particularly when treating the problems as box-constrained instead of unconstrained.

每种算法选择旨在为给定的问题实例和给定的性能标准推荐一种或几种合适的算法，这些算法有望在特定设置中表现良好。选择是经典的离线完成的，使用有关问题实例或在专用功能提​​取步骤中从实例中提取的功能的公开可用信息。这忽略了算法在优化过程中积累的有价值的信息。在这项工作中，我们提出了一种替代性的在线算法选择方案，我们每次算法选择该方案。在我们的方法中，我们使用默认算法启动优化，在经过一定数量的迭代之后，从该初始优化器的观察到的轨迹中提取实例功能，以确定是否切换到另一个优化器。我们使用CMA-E作为默认求解器测试这种方法，以及六个不同优化器的投资组合作为可切换的潜在算法。与其他关于在线人均算法选择的最新工作相反，我们使用在第一个优化阶段累积的信息进行了第二个优化器。我们表明，我们的方法的表现优于静态算法选择。我们还基于探索性景观分析和分别对CMA-ES内部状态变量的探索性景观分析和时间序列分析进行比较。我们表明，这两种功能集的组合为我们的测试用例提供了最准确的建议，该建议是从可可平台的BBOB功能套件和Nevergrad平台的Yabbob Suite中获取的。

到目前为止，景观感知算法选择方法主要依靠景观特征提取作为预处理步骤，而与投资组合中优化算法的执行无关。这引入了许多实用应用的计算成本的重要开销，因为通过采样和评估手头的问题实例提取和计算功能，与优化算法在其搜索轨迹中所执行的功能类似。如Jankovic等人所建议的。 （EVOAPPS 2021），基于轨迹的算法选择可以通过从求解器在优化过程中对求解器进行采样和评估的点来计算景观特征来规避昂贵的特征提取问题。以这种方式计算的功能用于训练算法性能回归模型，然后在该模型上构建每运行算法选择器。在这项工作中，我们将基于轨迹的方法应用于五种算法的投资组合。我们研究了在固定的功能评估预算之后预测不同算法性能的情况下，性能回归和算法选择模型的质量和准确性。我们依靠使用相同功能评估的上述预算的一部分计算出的问题实例的景观特征。此外，我们考虑一次在求解器之间切换一次的可能性，这要求它们要热身启动，即当我们切换时，第二求解器继续使用第一个求解器收集的信息来继续适当地初始化优化过程。在这种新背景下，我们展示了基于轨迹的每算法选择的有前途的表现，并启动了温暖。

现代优化策略，例如进化算法，蚂蚁菌落算法，贝叶斯优化技术等。带有几个参数，可在优化过程中引导其行为。为了获得高性能算法实例，已经开发了自动化算法配置技术。最受欢迎的工具之一是IRACE，它可以评估顺序种族中的配置，利用迭代统计测试来丢弃性能不佳的配置。在比赛结束时，使用贪婪的截断选择，从未丢弃的幸存者配置中选择了一组精英配置。我们研究两种替代选择方法：一种是保持最佳幸存者，并从一组幸存者中随机选择其余配置，而另一个则应用熵以最大程度地提高精英的多样性。这些方法经过测试，用于调整蚂蚁菌落优化算法，以解决旅行销售人员问题以及二次分配问题，并为满足性问题调整精确的树搜索求解器。实验结果表明，与IRACE的默认选择相比，测试的基准测试结果有所改善。此外，获得的结果表明，非专业人士可以获得多种算法配置，这鼓励我们探索更广泛的解决方案以了解算法的行为。

我们展示IohexPerimener，Iohprofiler项目的实验模块，旨在为基准测试迭代优化启发式提供易于使用和高度可定制的工具箱，例如进化和遗传算法，本地搜索算法，贝叶斯优化技术等。Iohexperimenter可以用作独立工具或作为基准管道的一部分，用于使用IOHPOFILER（如IOHANALYZER）的其他组件，该模块用于交互式性能分析​​和可视化。 iohExperimenter在优化问题和求解器之间提供了有效的接口，同时允许优化过程的粒度测井。这些日志与现有的交互式数据分析工具完全兼容，这显着加快了基准管道的部署。 iohexperimener的主要组成部分是构建定制的问题套件和各种日志记录选项的环境，允许用户转向数据记录的粒度。

基准和性能分析在理解迭代优化启发式（IOHS）的行为中发挥着重要作用，例如本地搜索算法，遗传和进化算法，贝叶斯优化算法等。然而，这项任务涉及手动设置，执行和分析实验单独的基础，这是艰苦的，可以通过通用和设计精心设计的平台来缓解。为此，我们提出了Iohanalyzer，一种用于分析，比较和可视化IOH的性能数据的新用户友好的工具。在R和C ++中实现，Iohanalyzer是完全开源的。它可以在Cran和GitHub上获得。 Iohanalyzer提供有关固定目标运行时间的详细统计信息以及具有实际值的Codomain，单目标优化任务的基准算法的固定预算性能。例如，在多个基准问题上的性能聚合是可能的，例如以经验累积分布函数的形式。 Iohanalyzer在其他性能分析包上的主要优点是其高度交互式设计，允许用户指定对其实验最有用的性能测量，范围和粒度，以及不仅分析性能迹线，还可以分析演变动态状态参数。 Iohanalyzer可以直接从主基准平台处理性能数据，包括Coco平台，JOVERRAD，SOS平台和iohExperenter。提供R编程接口，供用户更倾向于对实现的功能进行更精细的控制。

增强现实（AR）游戏是一个丰富的环境，用于研究和测试提供微妙的用户指导和培训的计算系统。在特定的计算机系统中，旨在增强用户状况意识的计算机系统受益于AR耳机中可用的传感器和计算功率。在这篇正在进行的论文中，我们提出了一个新的环境，以研究情况意识和注意力指导（SAAG）：棋盘游戏Carcassonne的增强现实版本。我们还介绍了生产SAAG管道的最初工作，包括创建游戏状态编码，游戏玩法AI的开发和培训以及情况建模和凝视跟踪系统的设计。